eISSN 2444-7986
DOI: https://doi.org/10.14201/orl.20140
Editorial
FACILITANDO LA ACTIVIDAD CIENTÍFICA
Facilitating scientific activity
José Luis PARDAL-REFOYO
Director de Revista ORL. Ediciones Universidad de Salamanca. Salamanca. España
Correspondencia: jlpardal@usal.es
Fecha de publicación: 10 de febrero de 2019
Fecha de publicación del fascículo: 15 de marzo de 2019
Conflicto de intereses: Los autores declaran no tener conflictos de intereses
Imágenes: Los autores declaran haber obtenido las imágenes con el permiso de los pacientes
Política de derechos y autoarchivo: se permite el autoarchivo de la versión post-print (SHERPA/RoMEO)
Licencia CC BY-NC-ND. Licencia Creative Commons Atribución-NoComercial-SinDerivar 4.0 Internacional
Universidad de Salamanca. Su comercialización está sujeta al permiso del editor
Uno de los retos preferentes en la actividad editorial es lograr que los productos de investigación de los autores sean accesibles a los lectores, a otros investigadores y que sean reconocidos científicamente y citados. Es la base de la ciencia: generar conocimiento, compartirlo y participar en la generación de nuevo conocimiento. En esta labor están implicados todos los agentes que participan en el proceso editorial. Con las tecnologías de la comunicación y de la información la actividad de los autores y de los editores no concluye con la publicación del artículo. Para que un artículo sea visible es necesario distribuirlo en las redes científicas y sociales. Los autores deben promocionar sus productos, sus artículos.
Revista ORL participa en este desafío de hacer públicos y visibles los productos de la investigación de sus autores. Esto obliga a cumplir ciertos estándares de calidad y competir en ámbitos en los que, en la práctica, se dan amplias desigualdades pese a la gran facilidad que ofrecen las tecnologías a difundir y acceder a la información.
La aplicación de los criterios de evaluación de la producción científica de los autores e instituciones está sesgada debido a la utilización inadecuada de los indicadores.
En este sentido, recientemente Web of Science (WoS) ha publicado un informe que aborda cómo cuatro de los tipos de análisis bibliométricos más utilizados pueden ocultar el rendimiento real de los productos de investigación si se usan de forma incorrecta [1].
La red de citas de WoS sirve como base para elaborar el Journal Impact Factor o InCites (http://clarivate.com/products/web-of-science).
El afán por simplificar la calidad de la producción científica de los autores y de las instituciones en listas es un error pese a los criterios en contra de expertos analistas y de los autores. Como se dice en el informe, la investigación «no es unidimensional, el proceso es complejo y no hay dos proyectos idénticos». Frecuentemente para establecer las puntuaciones finales se han mezclado medidas de elementos que no son compatibles entre sí.
En el documento los autores analizan cuatro de las métricas más ampliamente utilizadas y mal empleadas y ofrecen nuevos indicadores más fiables que resumiré a continuación [1].
• Evaluación cuantitativa individual de la producción científica de un autor: Índice h (h-index) vs. diagrama de haz (beam-plot). El Índice h indica que un autor tiene h artículos que han sido citados al menos h veces en un periodo de tiempo determinado. Este indicador oculta el resto de su actividad y no sirve para comparar su producción con otro investigador (error frecuente). En el documento los autores proponen utilizar el diagrama de haz que ofrece una visión en conjunto de toda la producción científica del autor agrupada en percentiles dentro de la disciplina correspondiente.
• Evaluación cuantitativa de la producción científica de una revista: Journal Impact Factor (JIF). El JIF es un indicador utilizado por los bibliotecarios que necesitan administrar suscripciones con un presupuesto limitado y por los editores para seguir el rendimiento de sus publicaciones. El problema es que el JIF «desarrollado para uso responsable en la gestión de revistas, se ha aplicado de manera irresponsable a una gestión de investigación más amplia» que «puede ser una herramienta útil para los gestores de revistas, pero por sí sola solo indica parte de lo que necesita saber sobre la revista o el valor de un artículo», «el Journal Impact Factor (JIF) sufre una mala aplicación» ya que «no trata la evaluación de la investigación, sino la gestión de revistas».
• Evaluación de la producción científica de instituciones y grupos de investigación: Impacto de citación promedio vs. Impact Profile™ (Perfil de impacto). Los autores analizan como la evaluación y comparación de la producción científica entre dos grupos de investigación mediante los indicadores de impacto promedio (Category Normalized Citation Impact
–CNCI–) son engañosos ya que los recuentos de citas son muy sesgados, con muchos valores bajos y unos pocos valores altos en casi cualquier muestra (estos valores altos provocados por uno o dos artículos de toda la producción citados en una revista líder provocan elevaciones del CNCI que ofrecen una evaluación sesgada). Proponen clasificar los conteos en relación con el promedio mundial del que obtienen el Impact Profile™ general de cada conjunto de datos, que muestra la difusión real de artículos más y menos citados.
• Evaluación de la producción científica en las universidades: Ranking vs. Multifactor Research Footprint (huella de investigación multifactorial). La realidad es que cualquier institución puntúa mejor en algunos parámetros y menos en otros, variando continuamente su posición con respecto a otras. Una lista de universidades oculta demasiados detalles y no puede emplearse como herramienta de gestión. La huella de investigación (Multifactor Research Footprint) es un diagrama de radar, que utiliza varios ejes para indicadores múltiples, donde cada entidad se compara con una huella de referencia común, o una serie de huellas institucionales que comparten una imagen.
Los autores concluyen que las métricas empleadas (índice h, JIF, impacto de citación promedio) son informativas y que existe una mala interpretación y un mal uso irresponsable muy generalizados.
Para los autores de Revista ORL la información anteriormente expuesta puede suponer una confusión de conceptos que les aleja del verdadero objetivo: generar y compartir conocimiento en el medio en el que se desenvuelven, en su ecosistema.
La evaluación de la producción científica es una consecuencia que debe ajustarse a la realidad en la que la revista tiene su apoyo.
Para un autor es muy importante que su producción científica se evalúe en función del valor de su trabajo en su entorno y no del JFI de la revista en la que ha sido publicado. Es decir, evaluar el contenido y la calidad del artículo y no el medio en el que se publica.
En este sentido Revista ORL se adhirió a la Declaración de San Francisco sobre la evaluación de la investigación (DORA) y recomiendo su lectura [2].
El año editorial que iniciamos ofrece nuevos retos y oportunidades para demostrar la misión de Revista ORL como facilitadora de la actividad científica de los autores, ayudando en el conocimiento de la metodología y en la redacción de los informes de investigación acompañando a los autores a conseguir mayores metas. De ahí la importancia de apoyar desde los ámbitos administrativos publicaciones como Revista ORL como proyectos que se están construyendo permanentemente y que dotados de infraestructura progresan.
Doy las gracias a todos los implicados en el proyecto Revista ORL, a los autores, a los revisores, a su Comité Editorial, a la Sociedad Otorrinolaringológica de Castilla y León, Cantabria y La Rioja, a Ediciones Universidad de Salamanca, a sus editores digitales y a quienes desde el Servicio de Producción e Innovación Digital de la Universidad de Salamanca hacen posible que sigamos creciendo en la producción y acceso a la ciencia abierta e invito a todos a continuar participando en este apasionante proyecto [3-5].
1. Adams J, Mcveigh M, Pendlebury D, Szomszor M. Profiles, not metrics. 2019. Disponible en https://clarivate.com/wp-content/uploads/dlm_uploads/2019/01/WOS_ISI_Report_ProfilesNotMetrics_008.pdf. [Citado el 08/02/2019].
2. DORA (Declaration on Research Assessment), PARDAL-PELÁEZ B. Declaración de San Francisco sobre la evaluación de la investigación. Rev ORL. 2018 Dec 1;9(4):295. Disponible en: http://dx.doi.org/10.14201/orl.17845. [Citado el 08/02/2019].
3. Sociedad Otorrinolaringológica de Castilla y León, Cantabria y La Rioja. https://www.sociedadorl.com.
4. Ediciones Universidad de Salamanca. https://edicionesusal.com/.
5. Servicio de Producción e Innovación Digital de la Universidad de Salamanca. http://www.usal.es/produccion-e-innovacion-digital.